按：在这半年内连发Nature、TiCS、Nat. Neurosci.之后，Tim Buschman又在Annual Review of Vision Science上最新发表了一篇关于工作记忆的综述，总结了他最近在工作记忆领域的发现——只能说一句太强了！本文就趁热对这篇年鉴综述进行一些介绍。
工作记忆（working memory, WM）是维持任务相关信息（task-relevant information）的能力，是我们完成大多数认知行为的基础。WM有两个关键的特征，第一是具有极强的灵活性（flexibility），我们可以在WM中储存任何事物，并按照自己想要的方式组合它们。第二是WM容量是有限的（limited capacity），成年人平均可以在WM中储存三到四个记忆项目，在记忆新的项目时必须对原来储存的项目进行更新。
本文综述了WM的神经机制，同时着重讨论了WM的灵活性和有限容量。作者的观点是，WM的灵活性起源于感觉皮层的结构性表征（structured representation）和联合皮层整合性表征（integrative representation）的交互作用。但是，由于联合皮层的整合性表征会导致不同记忆项目之间的互相干扰（interference），从而又限制了WM的容量。
在神经层面，WM的灵活性体现在单个神经元的灵活性上，即单个神经元可以编码大量不同类型的刺激（包括没有见过的新颖刺激）。已有研究表明具有这一特性的神经元主要分布在联合皮层（主要是前额叶PFC，也包括内侧颞叶等区域；可参考文献 | 人类联合皮层的功能特异性与灵活性）。但是，WM的表征不仅存在于联合皮层，已有研究发现了WM在感觉皮层、颞叶、顶叶、皮下组织等区域都有出现。因此在本文中，作者认为WM的分布性表征属性是其灵活性的关键。在这个框架下，联合皮层整合各领域的信息，创造高维神经表征（参考：Nature文献 | 前额叶功能总是难以捉摸？神经元的混合选择性与高维神经表征）来为表征各种刺激输入提供灵活的基础；感觉皮层的结构性表征则互补性地提供了WM的内容。联合皮层（如PFC）可以整合感觉运动皮层的信息，为其灵活性编码提供了基础。这种信息的整合可以体现在单个PFC神经元的选择性（selectivity）上。已有研究发现，PFC的神经元可以对多个方面的任务信息进行联合表征（conjunctive representation），这会在神经元集群层面创造出一个高维空间来表征认知变量（见：Nature文献 | 前额叶功能总是难以捉摸？神经元的混合选择性与高维神经表征），其中每一个神经元的放电活动作为该空间的一个独立维度。换句话说，信息是分布式存储在由神经元集群组成的高维空间中的，可表示为高维向量。高维空间能整合不同类型的信息，这对于WM的灵活性非常重要，无论是保存外界多种多样的信息，还是将这些信息进行组合。生成高维神经表征的一种机制是让神经元对一组随机输入进行反应，这可让PFC创造出大量的联合选择性（conjunctive selectivity）。这种随机的连接也可以以一种有效的方式在WM中保存信息，从而帮助网络表征任何刺激输入。正如计算模型的结果表明，循环神经网络（RNN）里的随机连接可以创建出储层网络，这些储层网络能够在输入信号在网络中回响时保持短期记忆。总之，联合皮层使用高维、联合的表征来组合各种信息，从而提供了WM灵活性的神经基础。但仅仅是这些还不够，它们非结构性的本质意味着他们会丢失项目之间关联性的信息。因此，感觉皮层的结构性表征是WM灵活性的另一个重要方面。在视觉皮层，每个神经元对视觉世界的特定区域（空间感受野；spatial receptive field）和特征空间的特定区域（调谐曲线；tuning curve）做出反应。这些区域通常是连续的，附近的区域会引起类似的反应，比如V1区的神经元会对直线的倾斜有分级的反应等等。这样的表征方式可能源于对环境经验的学习，从而优化了调谐曲线，使得可以对不同感觉刺激进行区分。同时，它们也捕捉了世界的统计规律，将知识嵌入其中。
这种可能性反映在神经反应的结构中，感觉皮层的神经元对具有偏好特征（或与之相似的特征）的输入会有强烈反应，但它们会被本质上不同的刺激输入所抑制（环绕抑制；surround suppression）。举个例子，对于粉色皮球的神经反应模式会类似于对红色苹果的反应，但是与绿色方块的反应模式会截然不同。正如上文提到，感觉系统也参与到WM的表征过程中。感觉皮层的结构可以改善WM的准确率。正如调谐曲线可以优化知觉一样，它们也可以优化WM，使其准确编码刺激信息。相似地，感觉皮层中嵌入的关于世界的知识也会将记忆限制为有意义的表征。同时，环绕抑制会通过抑制不同的特征，将记忆限制在刺激输入周围的特征空间区域。这种属性能够稳定记忆，使其不至于偏离太远。上述分析指出，联合皮层和感觉皮层在WM中起到互补的作用，这就需要一个分布式的WM框架，来把两者的优势结合起来。
Bouchacourt和Buschman在2019年提出的灵活工作记忆模型（flexible working memory model；FWMM）就是这样一个框架（图1）。FWMM在一个结构化层和一个非结构化层（随机层）的交互之中灵活存储任意的感觉输入。第一层是作为感觉层，包含多个子网络，每一个分别表征不同领域的感觉加工（如颜色、形状、方向等）或空间中的不同位置。每个感觉神经元接受特定的感觉输入，加上局部的循环连接，将神经元调谐到输入空间的特定部分。之后，感觉层随机地与控制层的神经元相互连接。这些连接的互通性和随机性对于WM的灵活性非常重要。图1 灵活工作记忆模型（FWMM）。记忆保存在感觉层（左）和控制层（右）的交互之中。感觉层包含多个子网络（用不同颜色或形状表示），感觉层内部的连接可以是兴奋性的（excitatory；绿色表示）或抑制性的（inhibitory；红色表示）。对于靠近区域的促进、对于远端位置的抑制反映了区域邻近对刺激偏好的相似性（外侧曲线表示调谐曲线）。感觉层和控制层之间的连接是随机和互通的，并且有着平衡的兴奋性和抑制性连接（E/I balanced）。控制层接受所有感觉层子网络的信息输入，构成联合神经元（conjunctive neurons）。感觉层和控制层之间连接的互通性是维持WM表征的原因，因为这两层网络构成了吸引子网络（attractor network），其表征是稳定的。此外，随机连接的分布性质意味着控制神经元也可以激活其他感觉子网络的神经元，但由于投射是随机的，自上而下的输入是非结构性的，因此会诱发大概相等数量的激活和抑制，也就是说，在其他感觉子网络中的自上而下信号是被抵消的。除了防止子网络间的干扰，两层之间连接的随机性也赋予了网络的灵活性。WM的容量极为有限，作者认为这是因为当不同的表征汇聚到额顶控制皮层的时候，不同表征之间的相互干扰导致的。也就是说，联合皮层信息的整合促进了灵活性，但限制了记忆容量，WM的灵活性和容量是一种权衡关系。
对WM的干扰分为两类（图2a），一种是WM中两个项目的表征重叠会导致表征性干扰（representational interference）；另一种是记忆项目在相同神经元集群中相互竞争被表征，导致一种竞争性干扰（competitive interference）。下面将具体讨论这两种干扰。
图2a 神经表征之间的干扰。表征性干扰发生在两个表征在神经空间上重叠的时候，比如item 1和item 2之间存在表征性干扰。竞争性干扰可以发生在位于相同区域的任何表征中（无论是否重叠），比如三个item间存在竞争性干扰。当两个或多个项目具有相互重叠的表征时，就会出现表征性干扰，这会损害读取相关项目信息的能力（影响记忆的内容），解释见图2b、2c的图注。表征性干扰的影响还会随着时间变化而改变。比如相似的记忆会倾向于合成一个单一的中间值（如红色和黄色会合成为橘黄色）；不同的记忆会倾向于彼此相互排斥。图2b 如果只记忆Item1（蓝色圆点），可以通过将其投射到编码子空间（蓝色轴）对其进行解码。如果同时要记忆Item2，且Item2和Item1的编码轴不是正交的（如图2b，呈一个锐角），则会引起表征性干扰，即整个神经元集群的向量会向Item2偏离，这时候会对Item1信息解码产生干扰（即解码为了虚线的蓝色圆点）。图2c 如果新的记忆项目（如Item3）与正交（垂直）与其他Item的，那就不会产生表征性干扰，尽管竞争性干扰依然存在。竞争干扰导致神经反应的规则化(regularization)
竞争性干扰在视觉加工中经常被发现，比如视觉场景中物体数量的增加会导致物体表征之间的干扰增加，反映在行为上就是个体会对视觉拥挤场景中的较大变化视而不见，反映在神经层面就是当一个刺激和其他刺激同时出现时，神经反应会减少。在WM中，竞争性干扰也常被发现。如图3a的上图表示，当猴子记忆1个item时，PFC神经元能够很强地表征项目属性，但当记忆的item变多，对第一个item的神经反应就会减弱。这种信号减少会导致关于第一个item的信息量的减少（图3a的下图）。这表明竞争性干扰作用于WM中的项目表征，从而限制了WM中的信息总量。图3（a） 记忆项目的增加会引起竞争性干扰，减弱神经元放电频率和每个项目的信息。Divisive normalization model可以很好地解释这种神经表征之间的竞争。该模型假设，网络在任何时刻的总神经活动都有一个上界。为了实现normalization，每个神经元的活动都被除以所有神经元的整体活动。在神经环路中，normalization被认为是由抑制性中间神经元介导的。
WM中normalization的神经机制可能和感觉处理的神经机制相同：向单个脑区集中输入信息会导致竞争性干扰。但是，尽管传统模型中的normalization方法是依赖于代数方法，但在实际的神经活动中这可能不是唯一的机制。正如FWMM中展现的，兴奋和抑制的平衡可以实现相似的神经反应的规则化。近期研究发现，平衡的兴奋/抑制（E/I）能够有效避免过度的兴奋或抑制，最大化神经反应的编码效率。在FWMM中，E/I平衡的结果是：随着要记忆的项目数的增加，来自感觉网络的兴奋性和抑制性驱动会均衡地提高，导致控制网络出现类似于divisive normalization的神经活动的规则化。
神经表征的normalization能在几个方面影响WM。首先，它减少了记忆表征的可分离性（separability），使得控制网络中的记忆更加难以区分（见图3b）。图3b中，神经元1和2编码一个item的identity（可能的identity光谱如彩色点所示），当WM中只保存一个item时，可能的identities可以被很好地区分开来；但随着另一个item被保存在WM中，其他神经元的活动增强（神经元3）。由于normalization，神经元集群的活动被限制在一个神经空间中，这意味着其他神经元活动的增加会导致对第一个项目的反应范围缩小，从而导致分辨能力下降（与图3a吻合）。图3b Divisive normalization的几何展示。在三个神经元活动组成的三维空间中，由于divisive normalization，神经元集群活动被限制在一个超曲面中（淡蓝色），超曲面可以捕捉神经集群对输入到神经元1和2的不同刺激（彩色圆点）的反应，并且第二个刺激输入会传送到神经元3。当第二个刺激不存在时（神经元3活动为0，也就是灰色的线），前两个神经元中编码第一个刺激的信息的可分离性很高（也就是彩色点分得开）；但是当第二个刺激出现且不断增强后（蓝色线），点的可分离性就减少了。Normalization的第二个影响是减少了整合区域（如PFC）的神经活动强度，也从而减少了自上而下的到感觉区域的反馈。由于反馈连接可以帮助维持感觉皮层的记忆表征，反馈的减少也会引起记忆表征的减弱。在FWMM中，WM中item的增加会导致控制层的normalization（由于E/I平衡），这会减少到感觉层的反馈。这也增加了记忆中噪声的影响，因为神经反应变得更弱。增强的噪声会导致感觉空间内记忆漂移随之增加（图3c），这与随着WM负荷增加，错误也会增加的实验结果一致。如果反馈下降到足够严重，记忆表征就可能完全失去，导致遗忘。总之，这些结果表明WM的有限容量反映了表征之间表征性和竞争性的干扰，这可能是由于感觉输入汇合到联合皮层导致的。神经表征的稀疏性（sparsity）衡量了有多少神经元参与了表征，高稀疏性代表只有很少神经元参与。稀疏性的增加可以同时减少上述两种干扰。首先，系数可以降低表征一个刺激所需的活动总量，从而减少了normalization；第二，当神经表征变得稀疏，它们与其他表征重叠的可能性就会降低。
脑区的神经结构会影响表征的稀疏性，有的脑区可能会比其他更适合避免干扰。此外，经验或熟悉性也许也会帮助稀疏性的提高，从而改善行为表现。
表征性干扰最常见的形式就是WM中的项目和新的感觉刺激之间的干扰，新的感觉刺激同样会涉及到和之前一样的感觉区域，这种表征的重叠会导致严重的干扰。避免这种干扰的一种可能途径是记忆的表现形式避免了与感官输入的重叠。近期的研究表明，感觉表征可以动态地转换为一种独立、正交的记忆表征。通过跨时间的分类分析，一个研究发现PFC皮层对某一事物的表征会随着时间的推移而变化。如图4a所示，猴子在编码时对刺激的感觉表征与对刺激的记忆表征无关，这说明感觉表征动态转换为了一个独立、正交的记忆表征，感觉表征和记忆表征是彼此独立的。图4a 基于PFC神经元活动解码呈现的刺激。不同的分类器在不同时间段（上图的阴影区域；下图的纵坐标）被训练，再对所有时间段进行测试（横坐标）。跨时间分类的表现（上图的纵坐标；下图的颜色）表明在感觉加工阶段训练的分类器无法解码记忆，反之亦然。这表明，感觉表征和记忆表征是正交的！感觉和记忆的正交表征可能有几种不同的环路机制。首先，他们可能是在独立的神经元集群中被表征的（图4b，左）；这会减少表征之间的干扰量，因为他们将位于神经空间的不同维度（类似于增加稀疏性）。第二，感觉和记忆表征可能在相同的神经元集群中，但是感觉表征动态转换为了正交的记忆表征（图4b，右），这种转变有可能是因为感觉和记忆都有随机表征，由于高维空间中的随机向量彼此基本不相关，因此允许感觉和记忆的正交表征（这也是FWMM提出的机制：不同感觉子网络直接连接的随机性意味着他们之间没有什么干扰）。
图4b 正交表征的产生机制。（左）感觉和记忆表征可以存储在彼此独立的神经元中；（右）虽然不在彼此独立的神经元中，但是可以存储在神经元集群相互正交的维度上。此外，近期的结果表明了另一种可能的机制：记忆也许通过结构化的旋转发生转换。感觉皮层内的两种神经元促进了感觉表征向正交的记忆表征的旋转，一种是保持感觉和记忆刺激偏好的稳定神经元（stable neurons），另一种是将刺激偏好从感觉转向记忆的转换神经元（switching neurons）。如图4C表示，这两种神经元亚群的组合导致了表征的旋转，从而让其免于被新输入的感觉刺激干扰。图4c （左）稳定的神经元在整个感觉和记忆期间都保持着对刺激的偏好（红色和蓝色线），转换神经元在感觉阶段和记忆阶段翻转了它们的选择性（金色和淡蓝色线）；（右）稳定神经元和转换神经元的结合将感觉表征（实线）转换为记忆表征（虚线），这是因为转换神经元的反转引起了神经集群表征的旋转。除了避免感觉输入的干扰，神经表征的动态变化还可能减弱噪音的影响。这一点在这里不做展开。正如之前提到，WM的容量和灵活性是一种权衡，上述措施关注的都是最小化干扰的影响，而另一种限制干扰的方式就是建立专门的环路来保持特定的信息。当独立的环路被构建，这些项目将不会与其他记忆表征竞争。不过，这样的专门化环路是代价高昂的，尽管有实验证据表明其可能存在，但这种方法可能只被保留在维持最重要的信息上。
1. 工作记忆是灵活的，可以容纳任何东西。这种灵活性来自于前额叶高维、整合性表征和感觉皮层的结构化表征之间的相互作用。
2. 尽管前额叶能够支持工作记忆的灵活性，它对记忆表征的汇集也导致了项目之间的相互干扰，从而限制了工作记忆的容量。
3. 大脑可以通过多种方式减少记忆表征之间的干扰，从而提高工作记忆的效率，包括增加记忆表征稀疏性来减少表征重叠、动态地将记忆表征转化到正交子空间等。
4. 工作记忆的灵活性和容量之间存在权衡，两者不可兼得。
文章信息：Buschman, T. J. (2021). Balancing Flexibility and Interference in Working Memory. Annu Rev Vis. Sci., 7:6.1-6.22 https://doi.org/10.1146/annurev-vision-100419-104831